Nhất Hạnh là pháp danh khi ông xuất gia làm sư. Ông tên thật là Trương Toại (张遂), người Xương Lạc, Ngụy Châu.[2] Cụ nội của Trương Toại là Trương Công Cẩn, một trong 24 công thần khai quốc nhà Đường được vẽ hình trên gác Lăng Yên của Đường Thái Tông, vì thế là một gia tộc cực kỳ hiển hách. Ông nội là Trương Đại Tố, con trai thứ hai của Trương Công Cẩn, làm quan tới đông đài xá nhân môn hạ tỉnh, sau bị biếm làm trưởng sử Hoài Châu. Từ đây gia tộc bắt đầu sa sút. Cha là Trương Lẫm, con trai thứ hai của Trương Đại Tố, làm quan đến chức huyện lệnh Vũ Công.